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基于 近 红外 和 可 见 光 差 分 特征 的 图 像 融合 方法 
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摘 要 : 上 暗 光 环境 拍摄 的 图 像 通 常 存 在 则 上 暗 、 嗓 声 、 偏 色 等 退化 问题 。 为 此 ， 提 出 一 种 基于 差分 特征 的 可 见 光 与 近 

红外 融合 方法 。 首 先 ， 观 察 到 近 红 外 与 可 见 光 图 像 成 像 不 一 致 性 ， 通过 两 者 吉 构 性 差异 构造 差分 特征 。 其 次 ， 利 用 
差分 特征 映射 为 融合 权重 进行 权重 融合 。 最 后 ， 采 用 偏 色 校正 方法 对 融合 后 易 产 生 偏 色 区 域 进 行 亮度 复原 ， 使 得 融 

合 后 偏 色 区 域 颜 色 真 实 自然 。 提 出 方法 能 切实 有 效 地 利用 近 红 外 信息 ， 输 出 高 质量 清晰 图 像 。 实 验 结论 表明 ， 该 方 

法 在 主管 感受 和 客观 评价 上 均 优 于 现 有 算法 。 
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Near-infrared and visible images fusion based on differential feature 


Zhao Guohui, Zhang He* 
(Hangzhou Hikvision Digital Technology Co, Ltd, R&D Center, HangZhou 310051, China) 


Abstract: Images captured in dim light often suffer from severe degradations, such as low visibility, intensive noises and 
color distortion. To tackle these issues, this paper proposed a near-infrared fusion method based on image differential feature. 
First, it introduced the differential map which captures the inherent discrepancy of structures in the two different types of 
images. Then, it conducted feature mapping functions to form an optimal weight map and recoverd a visually pleasing result. 
To reduce the possible color cast in the image recovery process, it future proposed jointly recovering the final image by using 
the visible image to reduce over brightness in the fused image. The proposed algorithm can always take full advantage of the 
near-infrared images and generate natural high quality outputs. Experimental results demonstrate the proposed method is 
superior to existing fusion methods in terms of visual quality and quantitative measurements. 
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的 图 像 。 又 因为 人 眼 对 近 红 外 波段 光 具 有 弱 感 知性 ， 近 红 儿 


E TIGE AS REAL ATTE IS TEEI, KRI A BA, R REOG 
夜晚 环境 下 光线 不 足 ， 导 致 相机 设备 拍摄 的 画面 存在 亮 ”刺激 ， 因 此， 近 红 外 可 见 光 融 合 技术 在 夜间 监控 场景 下 有 具有 

度 暗 、 对 比 度 低 、 品 声 大 和 色彩 失衡 等 不 同 程度 的 退化 问题 ， 十 分 重要 的 应 用 价值 。 

影响 人 们 的 视觉 观感 和 有 用 信息 的 自动 提取 。 研 究 如 何 复原 与 传统 的 长 波 红外 热 成 像 07 不 同 ， 近 红外 利用 了 景物 反 

夜间 低 照度 图 像 不 仅 可 以 改善 图 像 的 观赏 性 ， 也 可 以 被 广泛 。 射 成 像 ， 体 现 了 景物 的 几何 形状 ， 与 可 见 光 融 合 的 目的 是 获 

应 cM 无 人 驾驶 和 地 形 侦 探 等 许多 领域 ， 具有 十 ” 取 干 净 、 通 透 和 清晰 的 彩色 图 像 。 但 如 何 最 大 化 利用 近 红 外 


i 色 
重 用 价值 。 针 对 此 问题 ， 一 种 原始 直接 ”的 亮度 信息 同时 保证 融合 图 像 色 彩 真实 可 信 以 便 适合 于 人 的 
的 方法 是 站 大 可 风光 和 光 ， 但 这 种 措施 不 可 避免 带 来 强 光 污 


u 
E 
X8 
ES 
= 
0 

B 
>84 
I 


应 补偿 因 光 照 不 足 引 起 的 对 比 
j 采 用 可 见 光 和 近 红 外 成 对 图 像 


虑 到 近 红 外 对 物体 的 细节 感知 较为 理想 ，Jee 等 00 采 用 联 
双边 滤波 ， 以 近 红外 图 像 作 梯度 结 
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视觉 特征 或 计算 机 监控 等 设备 的 后 续 识 别 利用 ， 是 非常 有 挑 
染 ， 特 别 是 在 视频 监控 领域 ， 强 光 导 致 驾驶 员 眼 睛 暂时 性 失 战 性 的 研究 课题 。 由 于 近 红 外 与 可 见 光 在 成 像 表 观 上 存在 着 
明 , 容易 引发 道路 安全 问题 ,其 他 图 像 调试 方法 如 增 大 光圈 ， 显著 差异 ， 直 接 将 近 红 外 的 灰 度 图 像 代 蔡 可 见 光 的 亮度 通道 
等 同 于 扩大 进 光 量 以 利于 提高 图 像 亮 度 ， 但 也 降低 了 成 像 景 图 像 导 致 色彩 偏离 问题 非常 严重 。Krishnan 等 中 提出 使 用 近 
深 ; 放 慢 快门 ， 相 当 于 增 大 曝光 时 长 来 提升 图 像 信 品 比 ， 但 红外 的 梯度 结构 信息 引导 彩色 图 像 进 行 噪声 去 除 。Shen 等 四 
容易 导致 运动 物体 模糊 ， 出 现 鬼 影 。 构造 一 副 尺度 图 显 式 表 示 近 红外 梯度 的 可 信和 度 ， 通 过 求解 最 
虽然 现 阶 段 图 像 低 照度 研究 领域 己 有 不 少 优秀 成 果 出 现 ， ” 佳 尺度 图 进而 恢复 可 见 光 图 像 。 Su 等 0 结合 多 尺度 小 波 分 析 ， 
但 仅 依 赖 单一 输入 图 像 ， 信 息 医 乏 条 件 下 难以 骤 别 随机 噪声 将 含 噪 声 的 可 见 光 图 像 与 近 红 外 图 像 进行 小 波 分 解 ， 权 衡 可 
和 真实 图 像 信 息 ， 这 些 视 性 与 对 比 性 将 两 者 进行 融合 , 以 达到 重 构 清晰 图 像 的 目的 。 
考 
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度 损 失 ， 效 果 提 升 欠 佳 。 因 信息 引导 可 见 光 辅 助 


的 低 照度 增强 算法 !™19I 得 到 了 越 来 越 多 的 关注 和 研究 ， 这 类 条 品 ， 继 而 全 加 近 红 外 纹理 细节 。 由 于 可 见 光 与 近 红外 成 像 
方法 采用 两 颗 图 像 传感器 ， 通 过 特殊 的 光学 元 器 件 ， 其 中 一 。 ”存在 不 同 ， 这 种 方式 会 错误 的 导致 可 见 光 图 像 一 些 固有 的 边 
颗 通 过 增加 近 红 外 补 光 采 集 到 包含 图 像 亮 度 信 息 和 物体 轮廓 — 缘 梯 度 变 得 模糊 。 受 深度 学 习 理 论 的 启发 ， 一 些 基于 样本 学 
的 近 红 外 灰 度 图 像 ， 另 外 一 颗 采集 到 包含 场景 色彩 信息 的 可 习 的 图 像 融合 方法 上 9 应 运 而 生 。Li 等 六 提出 一 种 包含 编码 
见 光彩 色 图 像 。 然 后 通过 图 像 融 合算 法 将 两 颗 采 集 到 的 图 像 器、 融合 层 和 解码 器 模型 的 深度 学 习 框 架 用 于 可 见 光 与 红外 
言 恩 进行 融合 ， 获 得 同时 具有 可 见 光 色 彩 与 近 红外 图 像 亮度 。 图 像 融 合 ， 端 到 端的 网 络 不 需要 人 为 寻找 先 验 信息 。 唐 等 4 
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录用 定稿 RAR, $: 基于 近 红 外 和 可 见 光 差 分 特征 的 图 像 融合 方法 第 39 卷 第 10 期 
采用 感受 野 更 大 的 U-Net 网 路 结构 ， 通 过 对 多 尺度 上 下 文 信 ”对 比较 微弱 ， 仅 为 获取 环境 色彩 。 道 路 监控 核心 目标 是 为 行 
息 进 行 更 加 有 效 地 编码 保证 可 见 光 与 近 红 外 融合 的 视觉 效果 。 驶 车 辆 , 因此 相机 快门 时 间 设 置 为 2ms, 避免 车 辆 运动 拖 尾 ， 
Mei 等 09 分 别 为 降 噪 、 增 强 和 融合 设计 了 独立 分 工 的 子 网 络 ， 增益 遵循 常规 设置 为 50。 由 于 快门 时 间 短 且 补 光 弱 ， 相 机 传 
输入 图 像 依次 经 过 三 个 子 网 络 得 到 增强 后 的 图 像 。 这 样子 网 。 感 器 感光 不 足 导 致 可 见 光 图 像 信 品 比 非常 低 , 出现 大 量 噪声 。 
络 的 任务 相对 简单 ， 容 易 训 练 收敛 。 上 述 基于 深度 学 习 的 方 为 了 简化 问题 ， 本 文 事先 将 输入 图 像 数 据 经 过 图 像 信号 处 理 
法 取得 了 令 人 瞩目 的 成 就 ， 但 其 缺陷 是 需要 大 量 训练 样本 和 (ISP) 进 行 降 品 ， 将 一 副 低 照度 噪声 图 像 转 变 为 低 照 度 模糊 图 
算 力 。 图 像 融 合 质 量 依赖 于 训练 的 标签 素材 、 模 型 容量 、 损 像 ,这 样 后 续 不 用 考虑 图 像 噪声 问题 , 专注 于 图 像 融合 课题 。 
失 函 数 选取 及 超 参 数 选择 等 诸多 方面 。 输入 可 见 光 图 像 格 式 为 YCbCr HX, nov 表示 可 见 
目前 低 照 度 可 见 光 与 近 红 外 融合 技术 主要 停留 在 学 术 胡 光亮 度 通道 ， CbCr 则 表示 可 见 光 色 度 通道 。 输入 近 红 外 图 像 
究 阶段 ， 工 业 场 所 应 用 不 多 ， 主 要 有 以 下 原因 : 一 是 物体 对 ”为 单 通道 ， 以 N 表示 近 红 外 亮度 通道 。 近 红外 与 可 见 光 亮度 
可 见 光 与 近 红 外 反射 存在 结构 差异 ， 复 原 后 的 图 像 极 易 因 亮 — 域 图 像 融 合 公式 定义 如 下 : 
度 失调 产生 偏 色 现 象 ， 二 是 大 多 数 方 法 是 利用 近 红 外 图 像 结 Yoo = YGJü -aQ)) - Naa) (1) 
构 信 息 协 助 低 照度 图 像 降 噪 和 细节 增强 ， 对 近 红 外 亮度 信息 其 中 ,x 为 表示 像素 坐标 位 置 的 2D 向 量 ，Y 为 可 见 光 图 像 的 
利用 有 限 ， 人 恢复 图 像 效 果 不 够 理想 ; 三 是 现 有 的 方法 计算 复 亮度 辐射 图 ，N 为 近 红 外 图 像 的 亮度 辐射 图 ，YY 为 期 望 得 到 
杂 度 都 较 大 ， 算 力 要 求 高 ， 难 以 满足 高 清 视频 实时 处 理 和 肉 ”的 多 光谱 融合 亮度 图 。a 表示 近 红 外 图 像 的 融合 权重 ， 用 于 
入 式 系统 上 实现 。 描述 输出 图 像 中 近 红 外 亮度 所 占 比例 , 其 值 介 于 0 到 1 区 间 。 
观测 到 近 红 外 图 像 对 于 同 种 颜色 亮度 表现 不 一 臻 性， 本 ”由 于 融合 权重 随 着 像素 的 位 置 而 变化 ， 因 此 其 整体 图 又 称 之 
文 提 出 一 种 基于 差分 特征 的 近 红 外 与 可 见 光 图 像 融 合 方法 ， 为 融合 权重 图 。 上 式 表 明 ， 若 已 知 图 像 场 景 中 的 融合 权重 信 
简称 为 差分 融合 方法 。 总 体 框架 如 图 1 所 示 ， 首 先 ， 可 见 光  ” 息 a， 相 应 地 就 可 以 计算 得 到 期 望 值 。 由 于 融合 权重 图 a 未 
亮度 与 近 红 外 亮度 进行 图 像 差 分 得 到 差分 特征 ， 差 分 特征 物 Se 
理 反映 了 两 种 光谱 反射 差异 区 域 与 程度 ， 可 以 对 融合 中 易 产 。 ”估计 参数 a 以 从 Y 和 NN 重建 到 YY 的 过 程 。 
生 偏 色 的 区 域 起 到 良好 的 约束 作用 ; 其 次 ， 基 于 差分 特征 与 ”1.2 差分 特征 
融合 之 间 的 相关 性 ， 定 义 特征 映射 函数 ， 将 差分 特征 映射 为 近 红 外 光 与 人 眼 可 见 光 在 光学 频谱 上 非常 接近 ， 一 般 情 
对 应 所 需 的 融合 权重 项 ， 然 后 ， 对 可 见 光 与 近 红 外 图 像 进 行 —— 况 下 ， 近 红外 图 像 与 可 见 光 图 像 在 亮度 分 布 状况 视 为 相同 。 
亮度 域 加 权 融 合 得 到 融合 图 像 的 亮度 ， 鉴 于 暗 光 环境 下 对 图 。 但 对 某 些 物体 ， 特 别 是 彩色 物体 ， 两 者 反射 成 像 方面 存在 不 
像 的 纹理 细节 削弱 ， 亦 需 将 近 红 外 的 纹理 迁移 整合 进来 ; 最 “小 差异 ， 甚 至 出 现 截 然 不 同 的 情况 。 对 大 量 自然 成 对 拍摄 的 
后 ， 整 合 亮度 颜色 信息 重 构 出 彩色 的 清晰 图 像 。 此 外 ， 本 文 可 见 光 近 红 外 图 像 进行 统计 分 析 ， 发 现 两 者 成 像 主 要 存在 以 
还 提出 一 种 基于 差分 特征 的 偏 色 校正 方法 ， 在 充分 利用 红外 下 不 同 : a) 近 红 外 图 像 对 于 同 颜色 亮度 表现 不 一 致 ; b) 可 见 
信息 兼顾 融合 结果 视觉 上 明亮 通 透 信 噪 比 高 的 同时 ， 保 证 颜 ” ” 光 纹 理 信 息 可 能 在 近 红 外 图 像 上 消失 不 见 ; c) 可 见 光 图 像 与 
色 还 原 的 准确 和 真实 。 实 验 结果 表明 ， 提 出 方法 简单 但 切实 。 近 红 外 图 像 存 在 亮度 逆转 的 情况 。 举 例 说 明 ， 图 2 显示 了 一 
有 效 克 服 图 像 融 合 过 程 中 产生 的 偏 色 问题 ， 视 觉 效 果 得 到 显 组 交通 监控 领域 夜间 抓拍 图 像 ， 同 是 红颜 色 车 辆 ， 其 对 应 的 
车 提升 ， 具 有 非常 快 的 速度 可 用 在 些 实时 监控 任务 中 。 近 红 外 图 像 有 的 明亮 ， 有 的 灰暗 。 图 2 左上 衣服 上 的 条 纹 在 
e: 其 对 应 的 近 红外 图 上 不 可 见 ， 图 2 左上 黑色 安全 带 变 成 图 2 
左下 的 灰白 色 。 这 些 若 不 加 以 区 分 融合 得 到 的 图 像 势 必 产 生 
偏 色 失 真 、 纹 理 细节 丢失 问 题 。 


图 1 


法 整体 框架 


Fig. 1 Overall framework of the algorithm 


1 ”算法 介绍 
1.1 数据 获取 

为 获取 真实 低 照 度 可 见 光 图 像 与 近 红外 图 像样 本 对 ， 本 
文选 用 相机 型 号 为 HK iDS-2CD9736-AMS 双 传 感 器 900 万 
(分 辨 率 4096X2160) 专 业 相 机 ， 该 款 相 机 采用 分 光 棱 镜 将 可 
见 光 与 近 红 外 光 分 别 导 入 对 应 传感器 成 像 ， 其 中 可 见 光 与 近 
红外 图 像 间 仅 存 在 微小 的 刚性 空间 变换 ， 利 用 棋盘 格 校准 获 
取 配 准 矩 阵 并 自动 应 用 于 所 有 图 像样 本 对 。 
测试 相机 架设 在 道路 上 ， 杆 高 度 6 米 ， 抓 拍 距离 24 米 ， 
以 捕获 过 往 车 辆 全 貌 。 搭 配 频 曝 环 保 补 光 灯 (LED 频 闪 灯 和 
近 红 外 爆 闪 灯 )， 其 中 近 红 外 图 像 采 用 近 红 外 爆 闪 补 光 ,波长 
为 730~1000nm， 可 见 光 图 像 采 用 LED 频 闪 灯 补 光 ， 亮度 相 


Fig.2 The 

若 假设 
外 反射 特性 
亮度 也 应 当 


图 2 ” 近 红 外 成 像 的 不 一 致 性 ， 
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相同 ， 其 可 见 光 图 像 局 部 亮度 与 近 红 外 图 像 局 部 


接近 。 对 两 幅 亮度 图 像 进行 低 通 


双边 滤波 0 和 引导 滤 ; 


[91 等 


保 边 滤波 ， 可 选 
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的 作用 , 得 到 两 幅 图 像 的 亮 
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像 亮度 图 双边 滤波 为 例 : 
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Ka Tep l Ea TOE, 6) 0 EA 表示 当 差分 特征 值 为 负 值 或 正 值 但 比较 小 时 ， 融 合 
sn o; 9; 近 红 外 权重 最 高 设 定 为 amax， 起 到 最 大 化 利用 近 红 外 信息 的 
左 正则 项 o 定义 了 基于 像素 距离 的 空间 域 权 重 ， 而 右 正 EH: 当 差 分 特征 为 正 值 且 大 于 阔 值 时， 融合 红外 权重 比 
则 项 6 定义 基于 颜色 强度 差 的 值 域 权重 。 这 两 个 函数 均 是 定 网 逐渐 降低 至 amin， 以 降低 因 近 红外 光 物 体 反射 强烈 带 来 的 
义 在 局 部 区 域 @ 上 的 高 斯 距离 函数 。 根 据 经 验 , 通常 设置 c. 色 偏 影响 。 通 过 此 映射 步骤 ， 本 文 将 差分 特征 图 像 映 射 为 红 
为 20 的 领域 窗口 ，o; 设置 为 所 有 图 像 的 颜色 范围 的 1% 是 一 外 融合 权重 图 ， 图 4 中 ， 闵 值 o 和 根据 实验 经 验 而 来 ， 通 
个 较 好 的 选择 。 将 可 见 光 亮度 特征 图 像 ve- 与 红外 亮度 特征 。 常设 置 为 20 和 120; 融合 权重 上 下 限 ama amin， 用 于 调节 
图 像 N= 差分 得 到 差分 图 像 , 这 里 使 用 高 亮 补 光 的 近 红 外 光 ”融合 红外 的 程度 ,一 般 设置 为 0.8 和 0.1。 由 于 差分 特征 输入 
亮度 特征 Ne* 减 去 可 见 光亮 度 特征 Yo : 数据 范围 是 确定 且 可 枚 举 的 ， 对 于 八 位 深度 图 ， 差 分 值 落 在 
dittoO=N (x) - Y"* (x) (4)  fA255 与 正 255 之 间 ， 因 此 该 步 又 常 预先 制作 成 查找 表 ， 以 
差分 图 像 物 理 地 反映 了 自然 图 像 局 部 区 域 对 可 见 光 和 近  ” 便 加 速 图 像 处 理 过 程 。 
红外 光 反 射 特性 差异 。 如 图 3 所 示 ， 差分 图 (为 便于 显示 取 绝 1.4 图 像 融合 
对 值 ) 越 亮 的 地 方 ， 说 明 近 红外 与 可 见 光 反射 特性 差异 越 大 。 经 特征 映射 获取 融合 权重 图 a 后 ,通过 代入 式 (1) 直 接 求 解 
例如 司机 穿 的 黑色 短视， 对 应 的 近 红 外 图 像 特别 明亮 。 直 接 可 得 到 融合 图 像 的 亮度 辐射 图 。 然 而 ， 在 弱 光 环境 下 拍摄 的 可 
采用 这 些 区 域 的 近 红 外 亮度 极 易 导致 图 像 发 灰 偏 色 。 差 分 图 见 光 图 像 由 于 感光 不 足 ， 存 在 纹理 线条 模糊 、 细 节 梯 度 退化 问 
越 暗 的 地 方 ， 说 明 近 红外 与 可 见 光 反射 特性 差异 越 小 。 例 如 ” ” 题 ， 因 此 需要 提取 对 应 近 红 外 图 像 的 表面 纹理 细节 图 层 迁 移 进 
驾驶 台 以 及 司机 系 的 黑色 安全 带 ， 对 应 的 近 红 外 图 像 与 可 见 。 入 融合 图 像 ， 从 而 丰富 图 像 细 节 和 提升 画面 层次 感 
光 成 像 非 常 接 近 。 这 些 区 域 ， 融 合 时 使 用 更 多 比例 的 近 红 外 Ys (0)=Y0) + DA) (6) 
亮度 ， 使 得 恢复 的 图 像 整体 更 加 明亮 通 透 ， 信 噪 比 高 ， 而 且 其 中 , 立 是 将 可 见 光 图 像 Y 和 近 红 外 图 像 N 两 者 亮度 域 进行 
也 不 易 出 现 偏 色 问题 。 加 权 融 合 的 结果 ，D 为 迁移 钱 加 的 纹理 细节 图 层 ， 即 
DA) = Nvs(YO) - Y** 00)) Ag (NO) -N Ga) (7) 
Avis 和 Anr 分 别 用 来 控制 可 见 光 图 像 和 近 红 外 图 像 纹 理 
县 加 强度 ， 参 数值 设置 越 大 ， 清 晰 度 越 为 显著 ， 但 容易 导致 
图 像 锐 化 过 度 ， 部 分 像素 截断 溢出 问题 ， 因 而 一 般 情 况 下 设 
置 为 1.0。 对 于 近 红 外 图 像 纹 理 ， 本 文 同 样 乘 以 融合 权重 ， 吉 上 
免 在 近 红 外 图 像 与 可 见 光 图 像 存在 梯度 逆转 时 出 现 伪 影 等 不 
自 适 应 问题 。 
对 于 融合 图 像 的 颜色 获取 ， 用 输入 的 低 照 度 可 见 光 UV 
通道 乘 以 相应 亮度 增益 值得 到 融合 后 的 数值 。 
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于 此 有 利 先 验 信息 ,可 在 图 像 融 合 时 最 大 化 利用 近 红 外 信息 ， 
同时 避免 融入 不 良 红 外 信息 导致 色彩 偏差 的 问题 ， 取 得 理想 
的 图 像 效 果 。 根 据 对 差分 特征 与 融合 偏 色 的 关联 观察 分 析 ， 
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近 红 外 亮度 的 使 用 ， 但 无 法 保证 融合 图 像 的 高 信 噪 比 ， 因 此 ” 变 分 的 模型 方法 主要 利用 近 红外 梯度 信息 ， 而 忽视 了 近 红 外 
红外 利用 率 不 够 充分 。 若 再 进一步 提高 红外 使 用 率 则 会 引入 亮度， 处 理 后 图 像 仍然 显得 昏暗 ， 人 缺少 近 红 外 明暗 高 对 比 度 
人 有 眼 可 察觉 的 偏 色 问 题 。 特 别 是 人 眼 对 红色 特别 敏感 ， 能 够 ”的 特性 。 文 献 [14] 基 于 深度 学 习 端 到 端的 处 理 , 无 须 设 计 和 提 
分 辨 出 不 同 亮度 的 红色 , 如 图 6(c), 瞳 红色 车 身 略 显 俩 粉色 。 取 特 征 ， 但 可 以 看 出 车 灯光 晕 及 路 面 照射 区 域 亮 度 都 有 错误 
此 外 ， 夜 | 亦 或 白 平衡 问题 影响 导致 颜色 提升， 究 其 原因 可 能 是 低 照 度 可 见 光 与 近 红外 融合 的 真实 数 


司 图 像 常 因 补 光 不 足 

者 淡 或 偏 色 ， 这 些 都 需要 对 图 像 进 行进 一 步 偏 色 校正 处 理 据 集 非常 难以 获取 ， 文 献 [14] 选 择 了 长 曝光 图 像 作为 训练 集 
区 
色 


首先 ， 将 差分 融合 后 的 图 像 转 到 RGB 色彩 空间 以 便 计 ”的 标签 图 像 ， 导 致 网 络 功能 最 终 变 成 可 见 光 降 噪 和 增强 ， 缺 


算 颜 色 特 征 。 对 于 常见 的 颜色 ， 如 红 、 绿 、 蓝 ， 这 些 颜色 在 。 乏 近 红外 信息 导致 视觉 可 见 性 没有 得 到 很 好 的 改善 。 相 比 之 
融合 后 加 入 过 量 近 红外 亮度 导致 偏 色 发 生 。 因 此 ， 根 据 融合 下， 差分 融合 方法 恢复 的 车 辆 纹理 清晰 易 见 且 色彩 鲜明 ， 道 
前 后 图 像 亮 度 变化 及 每 个 像素 颜色 强 弱 特征 ， 设 计 如 下 公式 ”路 交通 标 线 等 得 到 凸显 ， 整 体 视 觉 效果 更 接近 于 近 红 外 爆 闪 
校正 偏 色 : 图 像 ， 显 得 更 佳 。 

I (X=) - min(1 Ic (), E (X), kas), c etr. 8 (9) E. 
其 中 kosmata- 为 融合 前 后 亮度 增加 数值 ， 


s(x) = max Te (x) -min T (x) 代表 当前 像素 颜色 强 弱 数值 。 使 用 偏 色 
校正 后 的 融合 结果 如 图 6 (f) 所 示 。 可 以 看 出 融合 图 像 充分 有 
效 地 利用 了 红外 信息 ， 明 亮 通 透 ， 颜 色 真实 ， 信 噪 比 高 。 图 
像 整 体 更 接近 于 红外 闪光 图 像 的 亮度 风格 ， 但 具有 可 见 光 真 
实 色彩 。 


图 7 交通 场景 数据 car 融合 增强 效果 比较 

Fig.7 Visual comparison of image fusion on car example 

8 是 暗室 拍摄 的 低 照 度 图 像 及 用 红外 灯 闪 光 拍 摄 的 近 
红外 图 像 。(a) 是 低 照 度 可 见 光 图 ，(b) 是 内 光 近 红外 图 ，(c) 是 
BM3D 的 ，(d) 是 文献 [9] 的 ，(e) 是 文献 [14] 的 ， 人 是 本 文 的 。 
虽 是 静态 场景 但 由 于 环境 比较 暗 ， 原 始 可 见 光 噪点 比较 多 ， 
(ay9] ÀJ I8. f jc KE QUY. £L 9H f K E i i KIR ox 信息 完全 被 噪声 淹没 而 基本 丢失 。BM3D 复原 图 像 虽 然 能 较 
好 抑制 噪声 ， 但 清晰 程度 远 低 于 使 用 近 红 外 融合 的 结果 。 文 
献 [9] 恢 复 的 明暗 反差 较 差 ， 视 觉 上 不 自然 协调 。 文 献 [14] 不 
能 有 效 地 利用 近 红 外 信息 ， 某 些 区 域 不 够 清晰 ， 例 如 图 中 包 
装 盒 上 的 字迹 比较 模糊 。 相 比 之 差分 融合 方法 对 物体 恢 
复 的 颜色 和 清晰 程度 在 视觉 上 面 比较 理想 ， 而 且 包装 盒 上 的 
字迹 在 方法 结果 中 也 较为 清晰 的 
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(二 可 见 光 LIME 丧 强 及 车 窗 放 大 国 (简单 融合 及 车 窗 放 大 图 作对 (ec) 做 保 旬 校正 


图 6 MERE 
Fig.6 Color cast correction 

2 ”实验 效果 

为 验证 提出 方法 的 有 效 性 ， 本 节 除 选取 部 分 交通 场景 的 
实 拍 图 ， 其 他 均 为 公开 的 近 红 外 与 可 见 光 数据 对 ， 与 目前 最 
为 先进 的 方法 在 融合 效果 上 比较 来 验证 所 提出 方法 的 有 效 性 。 
对 比方 法 包含 三 维 块 匹 配 (Block Matching 3D, BM3D) 降 噪 算 
法 凸 、 变 分 法 多、 深度 学 习 融 合法 4 等 具有 代表 性 和 影响 力 的 


Jk. 图 8 公共 数据 集 teapot 融合 增强 效果 比较 
2.1 视觉 主观 分 析 Fig. 8 Visual comparison of image fusion on teapot example 
图 7 是 针对 夜间 交通 场景 下 抓拍 的 低 照度 图 像 与 近 红 外 9 是 暗室 拍摄 的 陶 次 古玩 等 文物 照片 和 对 应 近 红外 内 


爆 闪 图 像 进 行 融合 处 理 。(a) 是 低 照 度 可 见 光 图 ，(b) 是 闪光 近 ”光照 片 。(a) 是 低 照 度 可 见 光 图 ，(b) 是 闪光 近 红 外 图 ，(c) 是 
红外 图 , (co) 是 BM3D 的 ，(d) 是 文献 [9] 的 ，(e) 是 文献 [14] 的 ， BM3D 的 ，(d) 是 文献 [9] 的 ，(e) 是 文献 [14] 的 ，(f) 是 本 文 的 。 
(是 本 文 的 。 交 通 场景 图 像 抓 拍 的 难点 主要 在 于 拍摄 主体 是 ”原始 图 像 色 彩 噪 点 较 大 ， 图 片 比较 腊 鹏 。BM3D 复原 图 像 虽 
车 辆 , 运动 速度 快 , 因此 抓拍 图 像 比 较 黑暗 , 图 像 噪点 很 大 ; 消除 了 噪声 ， 但 画面 较 糊 ， 颜 色 上 暗淡 。 文 献 [9] 恢 复 图 像 较 为 
另外 , 夜间 光源 较为 复杂 , 拍摄 时 除 补 光 灯 外 , 还 受到 路 灯 、 清晰 ， 但 不 能 够 有 效 去 除 品 点。 如 兵马俑 上 仍 存在 一 些 色彩 
车 大 灯 等 强 光 影响 ， 因 而 可 见 光 图 像 光 尝 较 大 。 近 红外 路 存 噪声。 文献 [14] 复 原 图 像 虽 为 清晰 , 但 对 比 度 和 通 透 度 略 显 不 
在 红外 爆 闪 灯 补 光 ， 因 而 整体 明暗 均衡 ， 清 晰 度 较 高 且 噪 点 ， 足 。 相 比 之 下 ， 差 分 融合 方法 综合 了 可 见 光 色彩 与 近 红外 亮 
Jt. Walt E BM3D 降 品 后 与 原 图 风格 一 致 ， 虽 然 度 优 点 ,同时 克服 各 自 的 不 足 ,取得 了 较为 出 色 的 融合 效果 ， 

有 了 噪点 较 小 优势 ， 但 图 像 清 晰 度 和 对 比 度 明显 不 足 。 文 献 ” 主要 体现 在 : 融合 图 像 噪声 、 色 彩 准 确 度 、 可 见 光 信 息 保留 
[9] 处 理 效果 在 红外 反射 异常 区 域 出 现 模糊 不 清 问题 ， 且 基于 程度、 图像 对 比 度 以 及 近 红 外 信息 量 等 方面 。 
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SIMD 指令 同时 执行 32 个 像素 的 并 行 计算 ， 在 4096X2160 
高 清 图 像 耗 时 为 31 ms， 可 以 满足 实时 视频 处 理 需 求 。 
表 1 不 同方 法 融合 后 的 可 见 梯度 边 和 平均 梯度 比 
Tab. 1 Values of e and F obtained by different approaches 


原 图 方法 e F c 

BM3D!! 0.000 1.000 0.0896 

"T 文献 [9] -0.282 1.638 0.08% 

文献 [14] 0.354 2.550 0.1096 

差分 融合 0.719 3.029 0.43% 

BM3DDO 0.000 1.000 0.0096 

图 8 文献 [9] 0.357 1.501 0.01% 

文献 [14] 0.329 1.448 0.0596 

差分 融合 0.775 1.844 0.05% 

BM3D!! 0.000 1.000 0.0096 

图 9 公共 数据 集 bowls 融合 增强 效果 比较 ki 9 文献 [9] 0.551 3.127 0.0096 

Fig.9 Visual comparison of image fusion on bowls example 文献 [14] 0.643 2.251 0.0096 

2.2 客观 定量 比较 差分 融合 0.829 3.218 0.00% 
理论 上 ， 图 像 融合 领域 并 没有 十 分 客观 的 评价 指标 ， 主 3 i5 
要 以 主观 评价 为 主 ， 但 低 照度 图 像 融 合 本 质 上 可 视 作 图 像 清 RIDES 


晰 化 增强 的 过 程 。 由 于 微 光 成 像 会 减少 图 像 的 边缘 变换 特征 本 文 介绍 了 一 种 基于 差分 特征 的 近 红 外 与 可 见 光 融合 的 
和 细节 信息 ， 图 像 恢复 的 清晰 程度 可 由 处 理 后 图 像 的 边缘 强 氏 照 度 图 像 增强 方法 ,观测 到 近 红 外 与 可 见 光 成 像 差 异 问 题 ， 
度 和 细节 变化 反差 来 和 量 。 在 图 像 增强 领域 ， 较 为 广泛 使 用 提出 利用 差分 特征 构造 生成 融合 权重 ， 最 大 化 利用 近 红 外 亮 
的 是 Hautiere 等 29 提 出 的 可 见 边 梯 度 法 ， 即 利用 新 增 的 可 见 ，” 度 信息 增强 图 像 信 噪 比 ， 输 出 接近 于 近 红 外 补 光 亮度 风格 的 
边 的 数量 比 (e), 平均 梯度 比 (7 ) 和 饱和 像素 比 (o ) 来 描述 输入 ”图像 但 具有 可 见 光 真 实 色 彩 自然 。 所 提 方 法 非常 简单 ， 易 


原始 图 像 和 融合 后 图 像 的 增强 效果 于 在 嵌入 式 平台 优化 实现 。 与 最 新 其 他 研究 方法 比较 ， 本 文 
oohh PLE (10) 方法 不 仅 效果 优势 明显 ,性 能 也 可 满足 工业 的 实时 处 理 需求 。 
Wm ” 基于 差分 特征 的 图 像 融合 方法 在 多 源 异 构图 像 恢复 具有 


其 中 : n 和 分别 表示 可 见 光 图 像 和 融合 图 像 中 可 见 边 的 数 普 适 通用 原则 , 未 来 将 探索 研究 其 在 近 红 外 /可 见 光 图 像 去 雾 ， 
H, 它 是 图 像 局 部 对 比 度 的 反映 ; 吏 表 示 原 图 像 的 平均 梯度 ， 闪光 / 非 内 光 图 像 联 合 降 噪 等 图 像 恢复 领域 的 应 用 
g, 表示 恢复 后 图 像 的 平均 梯度 。 另 一 指标 0 表示 恢复 图 像 新 参考 文献 : 
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